本週要做的事
| 順序 | 內容 | 預估時間 |
|---|---|---|
| 1 | Ch.1 課程定位:MediaPipe vs YOLO 分工 | 10 min |
| 2 | Ch.2 MediaPipe 概論 + Solutions 全景 | 15 min |
| 3 | Ch.3 MediaPipe Hands 內部架構(palm detector + landmark estimator) | 20 min |
| 4 | Ch.4 Python 端使用 + 21 點 landmark 解析 | 30 min |
| 5 | Ch.5 手部 RPS 邏輯(彎曲度算法) | 25 min |
| 6 | Ch.6 Action Recognition — 從靜態到動態 | 25 min |
| 7 | Ch.7 Android Java MediaPipe Tasks API 部署 | 30 min |
| 8 | Ch.8 Custom Solutions (Model Maker) + 期末專題建議 | 15 min |
| 9 | Ch.9 研究級對比 + 作業 | 10 min |
教材檔案
-
📂 MediaPipe_骨架.pptx (原始檔)
核心投影片
68 張,9 章節。※ PPT 待轉 PDF 後可線上檢視 -
📖 MediaPipe 參考資料
補充連結
官方文件、Tasks API、Model Maker 入門連結整理。 - 共用 notebook (
shared/notebooks/):mediapipe_body_skeleton.ipynb— 全身骨架 demo
MediaPipe vs YOLO 分工
同樣都是「在影像上找東西」,但不同抽象層級:
| YOLO (W11) | MediaPipe (W12) | |
|---|---|---|
| 輸出 | bbox + class | 骨架點 (21 點 / 33 點) |
| 適用 | 萬用偵測(任何物件) | 人類專用(手/身體/臉) |
| 訓練 | 要自訓 | Google 預訓練,直接用 |
| RPS | 框出手 + 分類 rock/scissors/paper | 抓 landmark + 算彎曲度 |
| 細節 | 整隻手是一個框 | 每根手指都看得到 |
MediaPipe Hands 內部架構(兩階段)
跟單階段 YOLO 不同,MediaPipe Hands 是經典兩階段流程:
階段一:Palm Detector
- 輕量 detection 模型
- 找出手掌位置 (bounding box)
- 每幀都跑(或追蹤模式時隔幾幀跑)
階段二:Hand Landmark
- 用 palm bbox 裁切出手部 ROI
- 跑專門模型回歸 21 個 landmark
- 含 (x, y, z) — z 是相對深度
21 點 landmark 與 RPS 彎曲度算法
每隻手 21 點,從手腕到指尖。指縫分布:
0 = 手腕
1-4 = 大拇指
5-8 = 食指
9-12 = 中指
13-16 = 無名指
17-20 = 小指
RPS 彎曲度算法
每根手指看「掌根→第一節→指尖」三點是否大致共線:
- 共線 → 該手指伸直
- 明顯彎折 → 該手指彎曲
判斷規則:
- 0 根手指伸直 → 石頭
- 2 根手指伸直(食指+中指)→ 剪刀
- 5 根手指伸直 → 布
對比 W9 凸缺陷法:W9 看「指縫深度與角度」靠形態學,W12 直接拿到 landmark 算彎曲度。本質不同 — landmark 已經是「結構化資訊」,W9 還在「像素層」。
Action Recognition:從靜態到動態
RPS 是靜態手勢。MediaPipe + Sequence Model 可以處理動態手勢(揮手、招手、特定動作):
- 連續 N 幀 landmark 序列 (shape: (N, 21, 3))
- 用 LSTM / Transformer / 1D CNN 分類
- 應用:手語識別、無接觸控制、運動姿勢評估
期末專題可朝這方向延伸。
Android Tasks API 部署
MediaPipe 在 Android 有專門 SDK Tasks API(不走 Chaquopy,不走 TFLite,有自己 wrapper):
// build.gradle
implementation 'com.google.mediapipe:tasks-vision:0.10.x'
// Java
HandLandmarker landmarker = HandLandmarker.createFromOptions(...);
HandLandmarkerResult result = landmarker.detect(mpImage);
List<NormalizedLandmark> hand = result.landmarks().get(0);
輸出直接是 landmark 結構,Java 端跑彎曲度算法 → 輸出 RPS。
W12 作業
MediaPipe RPS + Action Recognition demo。詳見作業頁。
- 用 MediaPipe Hands 在 Android 即時抓 landmark
- 實作彎曲度算法判斷 RPS
- (進階) 加 Action Recognition 識別一個動態手勢
- 跟 W9/W10/W11 比較(正確率 + FPS)
- 30 秒影片 + 簡易報告
學生檢核表
- 我能解釋 MediaPipe 兩階段架構(palm + landmark)
- 我知道 21 點 landmark 的編號意義
- 我會用彎曲度算法判斷手指伸直 / 彎曲
- 我能在 Android Tasks API 上跑 MediaPipe Hands
- 我理解 MediaPipe Z 軸是「相對深度」不是真 3D
- 我能對比 W9/W10/W11/W12 四種範式的取捨
下週預告 (W13)
第五種範式 — ML Kit Vision API:
- Google 的 production-ready 工具棧
- 9 大 API(OCR / Barcode / Face / Pose 等)
- on-device vs Cloud 取捨
- Custom Image Labeling